即時快訊
數產署表揚13家友善電商企業推動安心網購 Perky榮獲MUSE國際設計雙銀獎,女性營養品牌累積六項國內外肯定 金門酒廠「一穀作契」100%本土契作好品質 獲得農業部農糧署國產農糧原料酒推薦 「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工
圖/本報資料庫
科技生活

·6 個月前·責任編輯
#DeepInfra#AI推論#雲端運算#GPU#融資
圖/本報資料庫
圖/本報資料庫
商傳媒|責任編輯/綜合外電報導
摘要

AI推論基礎設施新創DeepInfra近期完成1.07億美元B輪融資,將擴大其全球GPU叢集,以滿足日益成長的高效能AI推論需求,並支援開源模型與代理式AI工作負載。

隨著人工智慧(AI)應用對推論(Inference)基礎設施的需求日益增長,專為高效能AI推論打造的雲端平台DeepInfra,於今(13)日稍早宣布完成高達1.07億美元的B輪融資,將用於進一步擴展其全球GPU叢集佈局。

DeepInfra目前在美國八個資料中心設有GPU叢集,並計畫隨著需求成長,逐步增加國際站點。該公司強調,其平台提供從硬體到應用程式介面(API)的完整解決方案,確保比現貨或租賃容量更可預測的延遲、更低的成本及更高的穩定性。同時,DeepInfra也支援開源模型與代理式AI工作負載。

市場分析指出,此波融資反映出部分投資者將生產規模的AI推論視為一個獨立的基礎設施市場,與GPU現貨/運算市場及超大規模服務商的產品形成互補。《Let's Data Science》評論認為,像DeepInfra這類專精推論基礎設施的業者,正回應市場上兩大趨勢壓力:一是高吞吐量、代理驅動型工作負載的普及,二是開源模型日益成熟與廣泛部署。輝達(Nvidia)及專注於系統投資者的參與,更突顯了硬體與軟體整合解決方案的重要性。

DeepInfra的數據顯示,自其A輪融資以來,每週處理的代幣量已成長25倍,達到近五兆個。目前DeepInfra約有25名員工,並計畫持續擴編以應對業務增長。投資者認為,對於機器學習工程師和平台團隊而言,這項發展意味著廠商在延遲、每代幣成本經濟效益,以及與開源模型生態系整合方面的日趨成熟。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源